Aus der Nische in die Newsfeeds: nicht-einvernehmliche, sexualisierte Deepfakes verbreiten sich zunehmend, nicht nur durch den kaum regulierten Chatbot Grok des rechtsradikalen Multi-Milliardärs Elon Musk.
Bereits im Jahr 2022 berichteten wir über teils populäre Apps, mit denen sich beliebige Gesichter auf die Körper von Pornodarsteller*innen montieren ließen. Nur wenige Jahre später waren die technischen Möglichkeiten ausgereifter, und offen zugängliche Shops boten an, Kleider in beliebigen Fotos durch nackte Haut zu ersetzen.
Wer solche Aufnahmen ohne Einvernehmen erstellt, übt digitale Gewalt aus. Jüngst hat die Debatte besonders Fahrt aufgenommen, weil massenhaft nicht-einvernehmliche, sexualisierte Deepfakes von Grok über den Twitter-Nachfolger X ein breites Publikum fanden.
Mithilfe von EU-Gesetzen will die gemeinnützige Organisation AlgorithmWatch nun etwas gegen das Phänomen unternehmen – und bittet Interessierte um Unterstützung. Was genau der NGO helfen würde, erklärt Tech-Forschungsleiter Oliver Marsh. Das Interview wurde aus dem Englischen übersetzt.
Internationale Netzwerke aus Deepfake-Anbietern
netzpolitik.org: Oliver, Warnungen vor der Gefahr durch nicht-einvernehmliche, sexualisierte Deepfakes gibt es schon länger. Welche Bedeutung hat das Phänomen heute?
Oliver Marsh: Eine große. Es ist bedauerlich, dass es erst ein Ereignis wie die aktuellen Vorfälle rund um Grok geben musste, bevor auch Aufsichtsbehörden und Regierungen das Problem als „dringend“ einstufen. Hoffentlich führt diese Dringlichkeit auch zu ernsthaftem Handeln, nicht nur auf Social-Media-Plattformen. Wir sollten uns fragen, was geschehen muss, um die Vielzahl der beteiligten Unternehmen in die Pflicht zu nehmen, darunter auch Anbieter großer Sprachmodelle. Sie müssen das Problem gemeinsam mit Regulierungsbehörden und Fachleuten angehen.
netzpolitik.org: Welche Unternehmen spielen eine Schlüsselrolle bei den Deepfakes?
Oliver Marsh: Dahinter steckt ein internationales Netzwerk aus Anbietern für Deepfake-Tools. Das Ökosystem betrifft auch große Plattformen. Auch ohne Grok hatte X bereits große Probleme mit nicht-einvernehmlicher Sexualisierung, etwa durch Netzwerke von Accounts, die dort Deepfake-Werkzeuge bewerben. Weitere Recherchen haben solche Probleme auch bei den Meta-Plattformen Facebook und Instagram gefunden, auf den App-Marktplätzen von Google und Apple und in der Google-Suche.
Alles netzpolitisch Relevante
Drei Mal pro Woche als Newsletter in deiner Inbox.
Auch Plattformen wie Reddit, Telegram und Discord werden genutzt, um Werkzeuge für Deepfakes zu verbreiten. Dort kursieren auch Tipps, wie Nutzende die Schutzmechanismen von weit verbreiteten Chatbots umgehen können, um solche Inhalte zu generieren. Und natürlich treiben Konzerne wie OpenAI, Google, Meta und Microsoft mit ihren KI-Anwendungen die Technologie voran, mit der sich nicht-einvernehmliche Inhalte einfacher erstellen lassen.
netzpolitik.org: Wie würde es konkret aussehen, wenn große Tech-Unternehmen erfolgreich gegen solche Deepfakes vorgehen?
Oliver Marsh: Die Plattformen würden sich zum Beispiel gegenseitig über entdeckte Accounts informieren, die solche Werkzeuge bewerben. Außerdem würden sie Aufsichtsbehörden und Fachleuten Informationen zur Verfügung stellen, damit sie das Problem weiter erforschen und etwas dagegen tun können. Genau so etwas ist bereits vor rund zehn Jahren geschehen, als Plattformen gemeinsam gegen Desinformation durch Accounts vorgegangen sind, die sich mit hoher Wahrscheinlichkeit der russischen Propaganda-Agentur „Internet Research Agency“ zuordnen ließen. In jüngerer Zeit ergreifen Plattformen jedoch weniger Initiative für solche Vorhaben.
Bisher nur wenige Hinweise eingegangen
netzpolitik.org: Per Online-Formular bittet ihr gerade die Öffentlichkeit um Hinweise auf Apps und Websites, mit denen sich nicht-einvernehmliche Deepfakes erstellen lassen. Warum?
Oliver Marsh: Über das Formular möchten wir jegliche Informationen sammeln, die uns dabei helfen, Posts, Accounts und Apps zu finden, die Menschen zu Werkzeugen für nicht-einvernehmliche Sexualisierung führen. Unser Fokus liegt auf den Meta-Plattformen Facebook und Instagram, auf X, dem Google Play Store und dem Apple App Store. Nützliche Hinweise sind zum Beispiel Stichwörter und Accounts, die wir auf den Plattformen suchen können.
netzpolitik.org: Wie gut klappt das mit den Hinweisen?
Oliver Marsh: Das Formular ist bereits seit Mitte vergangenen Jahres online. Bisher haben wir nur eine Handvoll Einreichungen erhalten; einige davon enthielten Hinweise auf mehrere Apps und Websites. Wir machen uns aber auch selbst auf die Suche und haben – was am meisten hilft – Partner in Journalismus und Forschung, mit deren Unterstützung wir unsere Datenbank erweitern können.
netzpolitik.org: Was genau macht ihr am Ende mit den entdeckten Posts, Accounts und Apps?
Oliver Marsh: Es ist äußerst schwierig, dafür zu sorgen, dass solche Inhalte ganz aus dem Netz verschwinden. Wir wollen die Verbreitung nicht-einvernehmlicher, sexualisierter Deepfakes jedoch einschränken. Unser Projekt soll vor allem prüfen, ob wir sehr große-Online Plattformen (VLOPs) mithilfe des Gesetzes über digitale Dienste (DSA) dazu bringen können, das Problem effektiv anzugehen.
Wir sind communityfinanziert
Unterstütze auch Du unsere Arbeit mit einer Spende.
netzpolitik.org: Der DSA verpflichtet Plattformen nicht nur dazu, einzelne gemeldete Inhalte zu prüfen. Sehr große Plattformen müssen auch generell einschätzen, welche systemischen Risiken von ihnen ausgehen und dagegen Maßnahmen ergreifen.
Oliver Marsh: Ja, unsere Hoffnung ist, dass sehr große Online-Plattformen selbst aktiv werden, und Posts über solche Werkzeuge sowie nicht-einvernehmlich erzeugte Bilder eindämmen. Immerhin sind sie es, die ein riesiges Publikum haben und neue Nutzende damit in Kontakt bringen könnten.
Hoffnung auf Durchsetzungswillen der EU
netzpolitik.org: Seit der Machtübernahme der rechtsradikalen Trump-Regierung stößt Tech-Reglierung aus der EU bei US-Anbietern auf vehemente Gegenwehr. Andererseits hat Donald Trump selbst mit dem Take It Down Act ein Gesetz gegen Deepfakes unterzeichnet. Müsste die US-Regierung es also nicht begrüßen, wenn man auch auf Basis des europäischen DSA gegen sexualisierte Deepfakes vorgeht?
Oliver Marsh: Ich bezweifle, dass die Trump-Regierung diesen Zusammenhang erkennen wird. Egal, was die EU tut, die US-Regierung wird deren Regulierung attackieren, verzerrt darstellen und allein US-Gesetze als brillant bezeichnen. Aber ich hoffe, dass die EU dennoch gezielte und entschiedene Maßnahmen gegen nicht-einvernehmliche sexualisierte Inhalte ergreift und gegen alle Widerstände klar kommuniziert, dass es ihr nicht um Zensur oder Machtpolitik geht.
netzpolitik.org: Wenn Leser*innen euch Hinweise auf bedenkliche Deepfake-Angebote schicken möchten, was sollten sie beachten? Immerhin handelt es sich um potentiell illegale Inhalte.
Oliver Marsh: Menschen sollten illegale Inhalte nicht weiterverbreiten, selbst wenn sie dabei helfen möchten, Belege zu sammeln. Tipps zum Umgang gibt es bei der Internet-Beschwerdestelle, zum Beispiel: keine Inhalte speichern, nicht selbst weiter recherchieren.
Was wir suchen, sind Eckdaten, die uns dabei helfen, unsere textbasierte Suche zu erweitern. Das sind zum Beispiel die Namen von Firmen und Apps oder auch Begriffe, mit denen Menschen verschleiern, wofür ihre Anwendung da ist, zum Beispiel „undress“. Auch der Kontext eines Fundes ist hilfreich, etwa, dass er auf einer bestimmten Plattform beworben wurde.
netzpolitik.org: Vielen Dank für das Interview!
Mal eine philosophische Frage zu dem Thema: steckt in uns allen nicht ein Nudify-Tool? Jeder kann eine Person mental ausziehen, so dass in diesem Falle das Gehirn entsprechendes Material generiert. Natürlich kann man das nicht verbreiten, aber ist es nicht doch irgendwie vergleichbar mit dem privaten Besitz?
Das soll jetzt nicht als Rechtfertigung missverstanden werden, aber genau wie die Bundesregierung in dem geplanten Deepfake-Gesetz ja plant ist das größte Problem ja dann doch eher die massenhafte Verbreitung.
Ja ist schon vergleichbar. Ich weiß nicht, ob das damals nur ein Gag in Cartoons war, aber eine Strategie vor Lampenfieber soll ja gewesen sein sich das Publikum in Unterwäsche vorzustellen.
Ein Problem ist halt das so ein Bild im Gegensatz zu den Gedanken abgefangen, geklaut oder irgendsie abhanden kommen kann und dann doch bei einer anderen Person landet.
FYI
Nudify Apps Widely Available in Apple and Google App Stores
https://www.techtransparencyproject.org/articles/nudify-apps-widely-available-in-apple-and-google-app-stores
The recent controversy over people using Elon Musk’s Grok AI chatbot to undress women and children on X put pressure on Apple and Google to remove the X and Grok apps from their app stores.
But a new investigation by the Tech Transparency Project (TTP) shows that for Apple and Google, the problem of undressing apps goes far beyond Grok.
Die Motivation in allen Ehren, aber ich glaube nicht, dass der Ansatz besonders zielführend ist. Natürlich senkt die einfache Verfügbarkeit solcher Dienste die Hemmschwelle und Einstiegshürde, aber je länger je mehr wird es erschwinglicher und auch für Laien immer einfacher, solche Modelle lokal auszuführen – dann selbstverständlich komplett unzensiert. Und andere Gesichter ziemlich glaubhaft auf Pornodarsteller:innen kleben konnte man auch schon mit Photoshop.
Eine automatische Erkennung problematischer Inhalte zu justieren, ohne die Werkzeuge damit für unbescholtene Benutzer:innen zu stark einzuschränken und frustirerend und zu machen, halte ich für ein fast unlösbares Problem. Gut sieht man das momentan am Beispiel Grok, wo man das Pendel nun ins andere Extrem schwingen liess und einen Grossteil der auch noch so unschuldigen Aufträge verweigert.
Das Problem sind ja nicht die Werkzeuge an sich, sondern was gewisse Leute damit anstellen. Und auch wenn die Tatsache einigen unangenehm sein mag: bis auf bekannte Ausnahmen ist das Herstellen von Deepfake-Pornographie mit echten Menschen nicht strafbar – nur deren nicht einvernehmliche Verbreitung.
Der Fokus muss also meiner Meinung nach ganz klar auf der Verfolgung und Bestrafung der Straftaten liegen. Denn wenn das nicht funktioniert, werden sich diejenigen, die solche Straftaten begehen (wollen), auch nicht durch ein paar gesperrte Werkzeuge und Plattformen abhalten lassen. Sie werden das Zeug einfach selbst herstellen oder auf eine Plattform wechseln, die in einer Gerichtbarkeit liegt wo sie sich wenig um europäische oder amerikanische Gesetzte kümmern müssen. Ist aber klar, dass man sich für das Verbreiten von Revenge Porn das Leben mehr oder weniger zerstören kann, dürfte das diese Nasen eher davon abhalten.